TileFuse: Biblioteca de kernels de precisión mixta para LLM en NPUs AMD
TileFuse optimiza la inferencia de LLM en NPUs AMD con kernels fusionados de precisión mixta, logrando hasta 2x menor latencia y 64% menos consumo energético.
#cuantificación awq